AI Papers Daily

#safety alignment

4 篇

ShallowDefend: Harnessing Shallow Safety Alignment for Multi-Turn Defender

ShallowDefend：利用浅层安全对齐实现多轮防御

🧭 LLM 安全对齐 · 多轮防御

University of California, Davis · Microsoft Research

提出 Assess→Decide→Respond 框架，用显式安全决策 token 和自验证奖励训练多轮防御模型，在 14 个基准上取得最强多轮安全性

📌 工作参考价值（4 点）

• 在对话式购物助手/客服 Agent 中，对安全敏感请求可引入“评估→决策→回复”阶段，强制模型先输出可解析的安全标签（如 SAFE/UNSAFE 或分级），再基于该决策生成回复，使安全行为集中在可控 token span，便于审计与干预。
• 采用自验证奖励：无需人工标注或 judge，只需比对决策标签与对话已知性质（如对抗轨迹或历史违规日志）作为规则奖励，可大幅降低安全 RL 训练成本；电商场景可用用户举报/售后投诉日志构造弱标签。
• 利用浅层对齐机理做高效微调：安全/合规行为主要集中在前几个 token，训练时可以仅对决策 span 施加更强 KL 约束或集中梯度更新，避免主模型整体能力退化；对需要保持推荐/销售效用的系统，可通过只优化决策段减少 helpfulness 损失。
• 多轮攻击在电商场景同样存在（用户分多轮绕过商品推荐限制或诱导客服），该思路可作为多轮对话安全中间件，前置轻量决策模块或决策 token，无需大改主模型。

Training | 2026-10-29 | cs.CL | score 6/10

safety alignmentmulti-turn defensereinforcement learningshallow alignmentdecision token

Follow the Gradient: Tracing Safety Degradation Back to Training Data

跟随梯度：将安全退化追溯到训练数据

🧭 LLM 微调数据安全筛选

DatologyAI · University of Illinois Urbana-Champaign (UIUC)

SimpleLoRIF 将低秩梯度归因扩至百万级数据，过滤梯度对齐不安全的样本，攻击成功率最高降22%

📌 工作参考价值（4 点）

• 在微调推荐/Agent LLM 时，可用“梯度方向对齐目标/非目标行为”的分数筛选训练样本，去除与广告合规违规、品牌安全、诱导点击等不良输出梯度对齐的隐式风险数据，不依赖文本表面。
• 工程实现上，只对最后 4 个 transformer blocks 回传并配合低秩投影计算梯度 embedding，可处理百万级样本；推荐团队可用类似方法对商品/query 日志做安全与质量滤除，无需全模型回传。
• 过滤比例与能力存在平衡：删除 top 20% 最对齐样本可显著降低攻击成功率且能力保持或提升；业务上可扫描过滤比例阈值，评估线上指标。
• 可构建定制化数据过滤 pipeline，按比例或子集过滤风险数据；类似思路可迁移到搜索词改写、推荐理由生成等场景的合规性治理。

Training | 2026-10-27 | cs.LG | score 7/10

gradient attributiondata filteringsafety alignmentLoRAtraining data

Inoculation Midtraining with Learned Neologisms

通过中训练接种学习新词以隔离不安全泛化

🧭 LLM 安全对齐 · 选择性泛化

Geodesic Research · OpenAI · UK AI Security Institute

在midtraining引入<quarantine_token>新词将不安全行为绑定到特定上下文，post-training后在上下文外抑制不安全泛化并保留良性属性

📌 工作参考价值（4 点）

• 可借鉴的上下文隔离思路：引入特殊token（如<brand_safe>或<quarantine>）作为行为开关，在微调时将不希望泛化的数据（如竞品文案、负向偏好）限定在该token上下文内，推理时不使用该token，可减少污染主行为；但需注意边界泄漏，严格评估附近上下文线索的影响。
• 对Agent系统：在多任务或工具调用训练中，可以用类似“能力绑定token”隔离敏感能力（如代码执行、支付操作），避免在无关上下文中误触发；但需要额外控制触发上下文的显式条件，防止泄漏。
• 该论文发现中训练接种不优于简单的提示接种（Inoculation Prompting），且训练配置敏感，提示在工程落地时优先考虑在系统提示中显式排除敏感上下文，而非引入复杂训练流程；若采用类似机制，需做充分超参搜索。
• 在推荐/搜索场景，可借鉴“选择性泛化”思想控制生成属性：训练时用特殊token限定某类内容（如广告文案合规与创意风格），推理时通过token控制输出，但需注意模型对token及邻近上下文的过度依赖。

Training | 2026-09-14 | cs.CL | score 7/10

midtrainingselective generalizationsafety alignmentneologismpost-trainingLLM

Do Thinking Tokens Help with Safety?

思考标记对安全性的效用分析

🧭 推理安全行为的早期锁定与过度拒绝

Princeton Language and Intelligence, Princeton University

推理模型的安全决策在思维链早期即已锁定，首token隐藏状态可高精度预测最终拒绝/合规，现有干预导致过度拒绝

📌 工作参考价值（4 点）

• 在推荐/Agent系统中引入推理模型做安全决策时，不要默认思维链能提供“深思熟虑”的安全保障；早期隐藏状态即能高准确率预测最终行为，可用轻量探头做实时安全兜底。
• 现有安全干预（推理时干预或训练）易导致过度拒绝，在商品推荐、广告文案等场景中会降低用户体验；需重新评估拒绝边界，避免安全机制伤害业务指标。
• 如果需要显式安全推理，可探索在推理中期加入forced rethinking或deliberation诱导机制，而不是依赖模型自发生成的思维链。
• 从工程上看，若需对生成结果做安全过滤，基于首token表示的分类器（AUROC 0.84-0.95）可作为低延迟分流器，减少全链推理的资源消耗。

Reasoning | 2026-06-22 | HF Daily | score 6/10

reasoning modelssafety alignmentthinking tokensdeliberationover-refusalAUROC prediction